package com.shujia.flink.core;

import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class Demo3Parallelism {
    public static void main(String[] args) throws Exception {
        //1、创建FLink执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        /*
         * 设置并行度的方式
         * 1、在代码中设置:env.setParallelism(2) 优先级高
         * 2、在提交任务是通过参数设置 -p    (推荐使用)
         * 3、在配置文件中统一设置
         * 4、每一个算子可以单独设置并行度
         *
         * flink共享资源
         * 1、flink需要资源的数量和task数量无关
         * 2、一个并行度对应一个资源（slot）
         * 3、上游task的下游task共享同一个资源
         *
         * 并行度设置原则
         * 1、实时计算的任务并行度取决于数据的吞吐量
         * 2、聚合计算（有shuffle）的代码一个并行度大概一秒可以处理10000条数据左右
         * 3、非聚合计算是，一个并行度大概一秒可以处理10万条左右
         *
         */

        //env.setParallelism(2);

        //2、读取数据
        //nc -lk 8888
        DataStream<String> wordsDS = env.socketTextStream("master", 8888);

        //3、统计单词的数量
        DataStream<Tuple2<String, Integer>> kvDS = wordsDS
                .map(word -> Tuple2.of(word, 1), Types.TUPLE(Types.STRING, Types.INT))
                .setParallelism(4);

        //分组统计单词的数量
        KeyedStream<Tuple2<String, Integer>, String> keyByDS = kvDS.keyBy(kv -> kv.f0);

        //对下标为1的列求和
        DataStream<Tuple2<String, Integer>> countDS = keyByDS.sum(1);

        //打印数据
        countDS.print();

        //启动flink
        env.execute();
    }
}
